Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D
前沿语言模型难以复制文本：二维位置编码或更优
🧭 位置编码改进 · 复制保真度
Tsinghua University
提出2D-RoPE将文本组织为二维网格，大幅提升LLM复制任务的长度泛化能力
📌 工作参考价值（4 点）
- 在需要高精度复制长文本的电商/广告场景（如生成商品描述、广告文案、搜索查询改写），可尝试用2D-RoPE微调或从零训练，缓解模型输出错漏、幻觉问题。
- 基于LLM的Agent常需记忆并精确复制对话历史或工具输出中的关键信息，2D-RoPE可增强位置感知，提升指令遵循与信息保真度。
- 当业务中涉及结构化数据转换（如JSON、列表生成），模型常忽略细节或格式错误，2D-RoPE的网格复制机制可提升格式遵循能力。
- 若将LLM用于推荐理由生成，需准确复现用户历史中的物品名、属性，2D-RoPE有望提高复制的精确率，但需在具体任务上验证。